Domino: Decoupling Causal Modeling from Autoregressive Drafting in Speculative Decoding
Domino：解耦推测解码中的因果建模与自回归草稿
🧭 推测解码 · 推理加速
EPIC Lab, Shanghai Jiao Tong University · School of Software Engineering, HUST · UESTC · Fudan University · Huawei
通过并行草稿骨干与轻量因果细化头解耦因果建模，配合基锚定训练，实现最高5.49倍端到端加速
📌 工作参考价值（4 点）
- 在电商对话Agent或推荐理由生成等实时LLM场景中，可借鉴Domino的并行草案+轻量因果头架构，以低计算成本引入块内依赖，提升整体吞吐。
- 基锚定训练课程（先巩固并行骨干再渐进加入因果信息）可迁移到多阶段推荐模型训练，避免直接引入强因果约束导致的不稳定。
- 解耦设计思路：将生成过程中的耗时顺序建模替换为并行初稿→顺序修正，可推广到多Agent协作中的子任务规划与结果校准。
- 工程上，Domino在SGLang服务中的实现展示了如何将推测解码无缝集成到生产级推理框架，对电商中大批量请求的LLM服务优化有直接参考价值。